Calibrating Conservatism for Scalable Oversight
可扩展监督中保守主义的校准
🧭 可扩展监督 · 保守性校准 ★ 深度解读
Stanford University
聚合多种辅助监督信号为保守性惩罚，并用共形决策理论在线校准保守系数，确保长期违规率不超过目标值
📌 工作参考价值（4 点）
- 在线校准λ的思路可迁移至推荐：推荐系统中常常在安全性与效用间权衡（如低俗内容过滤vs流量），可借鉴 CCO 的增量 λ 更新规则 λ_{t+1}=λ_t+η(ℓ_t−α)，根据实时观测的违规率自适应调整保守程度，无需预定义固定阈值。
- 弱监督聚合惩罚：在电商多智能体场景中，可用多个廉价弱模型（如同步的安全检查、合规评分）对各候选动作打分，聚合与安全基线的偏差量作为惩罚，不要求各监督者完全理解主智能体，即可形成有效约束。
- 提供可证明的长期风险控制：推荐系统在动态环境中常遇到分布漂移，CCO 的 conformal 控制器不依赖分布假设，适合线上 A/B 实验中的风险控制，可设定 α 为可容忍违规率，保证长期平均不超过该目标。
- 基线动作的设计：明确指定一个保守基线动作（如“不推荐”），并确保其损失为零，为 CCO 提供安全兜底；在推荐/Agent 中可设计“安全 fallback”机制，当所有候选动作都被惩罚过高时自动回退到基线。